Trước thời kỳ Ân Thương, hậu duệ của Hoàng Đế đã lập nên bộ lạc Chu Lâu. Sau khi nhà Thương bị Chu Vũ vương tiêu diệt, Chu Lâu được phong làm nước chư hầu gọi là Chu (邾), cố đô nằm tại hướng nam Dịch Sơn (nay là nội thành Trâu Thành). Thời kỳ Chu Công Đán nhiếp chính, vì muốn làm suy yếu thế lực của các nước chư hầu bèn áp dụng phương pháp chia để trị, nhân Di Phụ Nhan của nước Chu có công với triều đình nhà Chu, bèn phong cho người con thứ của ông là Hữu ở đất Nghê, vì vậy mà gọi là nước Nghê. Do tách ra từ nước Chu nên còn gọi là nước Tiểu Chu.